WeVisCut：从脚本到长视频的单一 Agent 编辑系统
🧭 长视频编辑 Agent 策略学习与蒸馏
Xidian University · WeChat Vision, Tencent Inc.
用离线反推编辑决策训练9B策略，在统一工具环境中逼近Claude Opus 5且token减少33倍
📌 工作参考价值（3 点）
- 从成品反推决策的 inversion + verified replay 管线值得借鉴：在推荐/广告的多步决策场景（如会话式推荐、创意生成）中，可以用线上成功案例反推隐式决策链，并通过回放验证构造高质量监督数据，训练小模型逼近大模型。
- 状态化 Agent harness（共享生产状态、工具反馈驱动决策与修复）可迁移到电商 Agent 架构，统一维护商品/素材/用户状态，支持多轮工具调用的一致性和自我纠错。
- 紧凑策略蒸馏思路：9B 模型达到大模型相当效果且 token 减少 33 倍，适合成本敏感的实时推荐/广告文案生成；通过任务特化监督而非通用多阶段工作流，显著降低推理成本。
策略其实受 Harness 秘密约束：Agent 接口的决策几何
🧭 Agent 接口设计与策略学习
The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong University of Science and Technology
训练策略会带上训练 harness 的偏好，部署收益可分解为接口天花板减策略偏差，固定模型评估接口会混淆两者
📌 工作参考价值（4 点）
- 在评估 prompt / 工具 / 工作流改动时，别只拿固定模型 A/B 测试，应把表现拆成 ceiling（接口天花板）和 mismatch（当前策略偏差）。可以用一个更强的模型（如 GPT-4 或更大开源模型）近似最优策略来估计 ceiling，再用当前模型算 mismatch，从而预测改动后重新训练/微调能带来的真实收益。
- 如果接口只是格式变化（比如 prompt 字段顺序、工具描述顺序）而最优动作理论上不变，已微调的策略可能大幅失效（MiniWoB++ 里反转字段顺序让成功率从 85.0% 跌到 19.2%）。这提醒我们：对 LLM 做领域微调时，训练 harness 的格式偏好会被固化，上线接口改动前要重新校准，或者在训练数据里加入字段排序、模板扰动等增强来提高鲁棒性。
- 自动 prompt 优化工具（如 DSPy、TextGrad）常用固定模型给候选 prompt 打分，可能只选出当前模型更擅长的表达方式，而不是真正提高任务上限的接口。建议在候选 harness 搜索中引入更强模型作为 oracle 评估 ceiling，避免陷入对当前模型的过拟合。
- 在设计推荐/搜索 Agent 的工具调用接口、提示词模板时，接口本身的易用性和信息完整性（高 ceiling）可能比当前模型一次性表现更重要，尤其是计划后续用业务数据继续训练模型时。
LEMUR：从偏好反馈中学习多目标强化学习的对齐框架
🧭 多目标偏好强化学习
University of Manchester · University of Sheffield · Sheffield Hallam University
通过多人偏好反馈联合学习多奖励模型与策略，无需预定义奖励函数即可平衡多个竞争目标
📌 工作参考价值（4 点）
- 交互式多目标推荐学习：在推荐系统中，可直接收集用户对推荐列表的偏好（如“列表A优于B”）而非设计显式奖励，自动学习CTR、GMV、多样性等目标的隐奖励模型。
- 无权重预设的多目标折中：不需手动指定各目标权重，通过偏好反馈隐式学习用户或业务方的偏好结构，使策略自动适应不同权衡需求，适合电商中动态变化的业务指标。
- Agent决策优化：对对话推荐或任务型Agent，可用此法同时优化任务完成率、对话长度、用户满意度等多目标，利用人类反馈交互式训练，降低奖励函数设计的成本。
- 工程借鉴：联合训练策略与多个目标奖励模型的架构可用于实际在线学习系统，配合主动查询（选择信息量高的轨迹对进行标注）提升样本效率。
RoboTALES: 用任务对齐模拟未来学习推理引导的机器人策略
🧭 LLM/VLM 协同推理与视频想象策略
University of California, San Diego
提出层次LLM规划器与VLM批评家联合引导视频生成，使机器人策略在长视野操作任务上显著优于现有方法
📌 工作参考价值（4 点）
- 层次化LLM任务分解可用于复杂推荐流程：将多步推荐（如先吸引兴趣再推荐买点）拆解为子目标序列，指导生成式模型逐步生成商品描述、话术或创意，提升过程可控性。
- VLM critic 反馈对齐生成目标：在文案/素材生成中引入视觉-语言模型做“想象结果”评估，通过 reward 微调内部表征，让生成内容更贴合最终转化意图，类似 RLHF 但针对多模态生成。
- 单阶段端到端训练框架：无需预训练视频模型分离，直接把规划、想象与策略学习串联优化，适合将 Agent 的规划模块与执行模块联合训练，减少模块间误差累积。
- 用生成式模型做“世界模拟器”：在推荐系统中，可以预测用户兴趣演化轨迹（想象未来行为），据此提前布局推荐序列，类似用扩散模型生成用户状态 rollouts。
基于交互轨迹挖掘的计算机代理技能文档自动生成
🧭 Agent 交互轨迹挖掘与技能自动化
Massachusetts Institute of Technology · Harvard University
轨迹聚类可得到高可读性的技能库，但对策略迁移几乎无帮助，暴露当前方法缺陷
📌 工作参考价值（4 点）
- 在构建电商/广告投放的 Agent 时，若从操作日志中挖掘可复用子任务，需警惕：无监督聚类的高纯度并不保证下游策略收益，必须进行任务导向评估。
- 当前的边界检测和无序片段表示是主要瓶颈，实际系统中应优先采用能保留顺序信息的轨迹编码（如序列模型），避免丢失操作依赖。
- 离线奖励模型（如本文中使用的 GRPO 奖励）可能与真实任务成功指标存在偏差，在线评估或使用任务完成信号作为奖励会更可靠。
- 频率先验（高频子序列直接作为技能）是强基线，在资源有限时可作为快速冷启动方案验证概念，再迭代至学习模型。